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基于 雅克 比 稀 玻 自动 编码 机 的 手写 数字 识别 算法 
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摘 要 : 由 于 手写 数字 边缘 轮廓 差异 大 造成 书写 风格 的 不 同 ， 为 了 提高 识别 准确 度 ， 通 过 在 自动 编码 机 中 加 入 稀 政 约 
来 项 和 雅克 比 正则 项 ， 提 出 一 种 雅克 比 稀疏 自动 编码 机 (JSAE) 的 算法 进行 手写 数字 识别 。 加 入 稀 足 约 束 项 能 够 有 效 提 
取 数 据 中 的 隐藏 结构 ， 而 雅克 比 正则 化 可 以 描述 数据 点 的 边缘 特征 ， 提 高 自动 编码 器 算法 的 学 习 能 力 ， 从 而 更 准确 地 
抽取 样本 的 本 质 特征 。 实 验 结果 表明 ，JSAE 在 分 类 准确 率 上 要 高 于 自动 编码 机 (AE) 和 稀疏 自动 编码 机 〈SAE) 算 
法 。 
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JSAE: Jacobian regularized sparse auto-encoders on MNIST database 


Wang Huiling’, Song Wei®*? 
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Ministry of Education Jiangnan University, Wuxi Jiangsu 214122, China) 


Abstract: Due to the difference of handwriting caused by the large differences in edge contour, this paper proposed an algorithm 
named Jacobian regularized sparse automatic encoding machine (JSAE) for handwriting identification. This algorithm added 
sparse constraint and Jacobi regular item into the automatic coding machine, which improves the recognition accuracy. The 
sparse constraint can extract hidden structure from the data effectively and the regularized Jacobi can describe the marginal 
features of point data, thus it enables the learning ability of auto-encoder algorithm to improve and obtain the essential 
characteristics of the sample more accurately. Experimental results Show that JSAE outperforms the basic auto-encoders (AE) 


and sparse auto-encoders(SAE) . 
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越 广泛 。 在 手写 数字 识别 这 个 方向 上 ， 研 究 工 作者 已 经 开始 

已 推广 到 各 种 实际 应 用 中 。 比 如 ， 大 规模 数据 统计 中 的 应 用 ， 

深度 学 习 是 在 人 工 神经 网 络 的 基础 上 发 展 起 来 的 ， 具 有 多 财务、 税务 、 金 融 领 域 的 应 用 ， 邮 件 分 撕 中 的 应 用 等 。 按 照 提 
隐 含 层 的 多 层 感知 机 就 是 一 种 深度 机 构 。 深 度 学 习 通过 组 合 。 取 字 符 特 征 的 不 同 ， 现 有 的 数字 手写 识别 算法 主要 分 成 两 类 : 
寺 征 形成 抽象 的 高 层 特征 来 表示 对 象 属性 的 类 别 或 者 特征 ， 一 类 是 基于 结构 特征 的 手写 字体 识别 算法 ， 它 们 通过 识别 字符 
现 数据 的 分 布 式 特征 。 深 度 学 习 采 用 了 不 同 的 训练 机 制 ”图 像 内 部 包含 的 凹陷 区 特征 、 轮 廓 特征 、 结 构 突变 点 特征 等 基 

来 克服 传统 的 神经 网 络 中 的 常见 问题 。 传 统 的 神经 网 络 一 般 采 ， 采用 模板 匹配 的 方式 实现 手写 数字 的 自动 识别 外。 这 类 方 
用 梯度 下 降 法 ， 它 的 步骤 是 : 随机 初始 化 参数 、 计 算 结 果 、 求 ”法 能 够 直观 地 描述 字符 的 结构 ， 但 是 存在 着 对 字符 形变 及 噪声 
误差 、 修 正 等 ， 通 过 反复 迭代 来 训练 网 络 ， 但 是 会 出 现 数据 获 。 和 鲁 棱 性 差 的 问题 ， 另 外 一 类 是 基于 统计 特征 的 手写 数字 识别 算 
取 、 局 部 极 值 、 梯 度 弥 散 等 问题 。 深 度 学 习 的 深层 次 部 分 采取 ”法 ， 这 类 算法 基于 大 量 样 本 的 表征 、 变 换 和 学 习 ， 通 过 估计 不 
梯度 下 降 法 会 导致 残 差 变 得 极 小 ， 梯 度 扩散 ， 不 能 达到 修正 效 ”同样 本 类 别 的 特征 空间 分 布 训练 相应 的 分 类 器 ， 并 利用 这 些 分 
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果 ， 所 以 梯度 下 降 法 不 适合 应 用 在 深度 学 习 的 研究 中 ， 深 度 学 。 ”类 器 对 未 知 模式 进行 分 类 。 当 训练 样本 选取 足够 充分 时 ， 这 类 
习 采 用 逐 层 初始 化 的 方法 ， 通 过 无 监督 学 习 实现 。 算法 能 够 具有 很 好 的 识别 能 力 59。 
随 着 信息 技术 的 发 展 ， 手 写 数字 识别 中 中 的 应 用 需求 越 来 自动 编码 机 (auto-encoderAE) 是 一 种 很 有 前 景 的 非 概率 表 
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识别 1、 语 音信 息 处 天 
自动 编码 机 是 一 种 非 监 督学 习 算法 ， 尝 试 学 习 
得 函数 的 输出 近似 表示 输入 ，| 
模型 是 通过 最 小 化 输入 样本 数 


提出 了 许多 不 
构 。 一 般 来 说 


自动 编码 机 ! 


巨大 数据 下 的 潜在 解释 性 
越 来 越 多 的 关注 ， 


[以 很 好 地 学 习 有 效 特 


征 来 发 掘 隐 


因素 。 


且 被 申 


领域 适应 [3、 散 列 法 加、 人 


近 些 年 来 ， 


自动 编码 机 受 


请 作为 机 器 学 习 和 
了 脸 对 齐 00、 人 类 手势 


自然 语言 处 理 


[13] 。 


二 县 从 


= 二 里 的 应 


于 提取 输入 数据 的 高 


居 与 样本 重 构 之 间 的 误差 ， 学 习 


得 到 模型 的 参数 。 为 了 取得 更 好 的 泛 化 特征 ， 近 年 来 研究 人 员 
同 的 正则 化 自动 编码 机 来 获取 潜在 的 数据 分 布 结 
， 自 动 编码 机 可 以 分 为 以 下 四 类 : 稀 下 自动 编码 
机 2， 降 噪 自动 编码 机 503; 收缩 自动 编码 机 59;， 拉 普 拉 斯 算 子 
?3。 稀 玻 自 动 编码 机 通过 在 隐藏 层 节点 中 加 入 一 个 
稀 玻 性 限制 来 达到 学 习 数 据 特 征 的 目的 ， 从 而 获得 输入 数据 维 


数 更 


意义 的 表示 。 降 噪 


构 误 差 ， 从 含有 随机 


自动 编码 机 是 尝试 通过 最 小 化 降 噪 重 
噪声 的 数据 中 重 构 真 实 的 原始 输入 。 收 缩 
自动 编码 机 的 训练 目标 函数 是 重 构 误 差 和 收缩 惩罚 项 的 总 和 ， 


通过 最 小 化 该 


目标 函数 使 已 学 习 到 的 特征 表示 尽 


量 对 输入 数据 


受到 稀 踊 


保持 不 变 。 拉 普 拉 
来 增强 数据 点 所 学 到 的 编码 器 的 


斯 算 了 


自动 编码 机 使 ) 


局 部 保留 性 能 。 
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斯 算 子 正则 化 
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a) 把 雅克 比 正 则 化 力 


思想 的 
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普 拉 


算 子 自动 编 


启发 ， 本 文 把 雅克 比 
自动 编码 机 算法 中 ， 提 出 了 一 个 新 
自动 编码 机 (JSAE )。 本 文 所 提出 上 
[入 到 编码 中 ，JSAE 可 以 


把 稀 玻 性 约束 


可 以 有 效 地 提 


为 了 评估 实验 的 有 效 怕 


的 实验 ， 还 与 


自动 编码 机 ， 稀 


1 ”自动 编码 机 (AE) 


自动 编码 器 的 概念 是 20 
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本 的 自动 编码 器 


JSAE 


码 机 这 些 具有 
正则 化 和 稀 玻 
的 自动 编码 机 
有 两 
保留 边 


, 使 得 特征 提取 更 加 完备 , 信息 利 ) 
加 入 到 编码 中 , JSAE 对 
取 数 据 中 隐藏 的 结构 ， 使 分 类 效果 达到 更 好 。 
E， 本 文 对 手写 数字 数 


更 加 充分 ;b 
时 声 有 很 好 的 鲁 棒 性 , 还 


据 集 做 了 大 量 


[i 


世纪 80 年 代 晚 其 
神经 网 络 组 成 ， 包 括 输 入 


输出 层 ， 输 入 


层 与 输出 层 的 神 


经 元 上 


自动 编码 机 进行 
果 表 明 JSAE 在 准确 率 上 要 优 于 其 他 的 算法 。 
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比较 ， 实 验 结 


是 出 来 的 ， 
户 


a A 
、 沁 芋 


的 节点 数 相同 


， 其 结构 如 图 
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己 py 
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输出 层 ， 输 入 
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到 2 为 


层 以 及 隐 合 
W 连接 ， 每 个 隐 含 
隐 含 层 节 点 数 和 输入 输出 节点 
自动 编码 机 模型 


层 与 输入 


层 的 凶 


经 元 之 间 都 
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层 神 经 元 条 


射 , 获得 中 间 层 表示 y ，: 


得 重 构 数据 z 
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0 输出 
数 可 权 


用 函数 g, 对 
自动 编码 机 通过 最 小 化 损失 函数 
网 络 权 值 Ww/ ， 通 过 最 小 化 


E 构 误差 


民 据 不 同情 况 


层 神 经 元 都 连接 着 偏 


Ey 


设 定 。 


,用 函数 f, 对 输入 向 量 x 进行 映 
FP 间 层 表示 进行 映射 获 


L(X,z) 来 微调 


周 整 和 优化 参数 0 ， 


ChinaXiy 合 作 基 


0,0 = argmin,, YL(x,z) 


=argmin,, DL(X', 8,(f,(7)) 


x 是 训练 样本 ， 
y=f00=s(Wx+b) 和 Zz=g,(y)=s(W'y+b') 分 别 为 编码 与 


其 中 : 


解码 函数 。 


L(xX,z)=|x-z|。 


工 为 损失 函数 ， 


n 为 训练 数据 的 数量 ， 


Layer L1 


Layer L2 
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自动 编码 机 结构 
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动 编码 机 模型 


编码 训练 算法 使 


可 表示 为 


其 中 : J -地 


第 i; 个 神经 元 的 激活 值 ， = 了 和 (W) 为 权 和 


衰减 项 目 


h(x")-y"| ) 为 


J Ed tA 


的 是 减 小 权重 的 幅度 ， 防 止 过 拟 合 ， 


2 


1 为 系数 。 


雅克 比 稀 玻 自动 编码 机 (JSAE) 


比如 传统 的 平方 差 函 数 


] BP 算法 ,此 时 自动 编码 器 的 损失 函数 


2) 


E 构 误差 项 ， 有 h(x") 为 


衰减 项 ， 


本 文 把 稀疏 性 约束 和 雅克 比 正则 化 融入 到 自动 编码 机 算法 


中 ， 提 出 了 一 种 新 的 自动 编码 机 即 雅 克 比 稀疏 


动 编码 机 


(JSAE)。 和 人 脑 一 样 , 若 某 个 输入 只 是 刺激 到 某 些 神经 元 , 则 
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他 大 部 分 神经 元 是 受到 抑制 的 。 本 文 引 
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经 元 的 激活 度 满足 一 定 的 稀 疏 性 ， 能 够 更 有 效 地 找 


在 输入 数据 内 部 的 结构 与 模式 ， 因 此 稀 玻 的 表达 往往 
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其 他 的 表达 有 效 。 手 写 数字 图 像 中 变化 剧烈 的 像素 点 也 就 是 边 
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缘 轮 廓 比较 重要 ， 强 含 着 丰 
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透射 比 的 信息 ， 
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: 第 一 ， 把 雅克 比 正则 
码 中 , JSAE 可 以 保留 边缘 特征 的 结构 ,第 二 , 


富 的 内 在 


比 逢 阵 ， 将 其 局 部 线性 
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入 到 编码 中 , JSAE 对 噪声 有 很 好 的 鲁 棒 性 ， 
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梯度 下 降 优化 调整 


图 3 JSAE 用 于 分 类 的 框架 


上 4 用 了 特征 ,达到 更 好 的 应 用 效果 。 
图 3 为 JSAE 用 于 分 类 的 框架 。 


输入 向 量 表示 为 xe[0,1]} ，y ef[0,1 表示 把 输入 映射 到 隐 


藏 屋 ， 暴 


s(X) =1/(L+e 是 sigmoid 


中 y=f00=s(Wx+b)， 其 中 


函数 。 W 是 sxn 


偏 置 向 量 ， 中 间 层 输出 y 再 


映射 函数 z= g(y)=s(Wy+b) 


W 是 大 小 为 nxs 的 权 值 
W =W"' 
当中 间 层 凶 


经 元 数量 较 


矩阵 ， 并 


更 加 局 部 并 


可 以 保证 学 习 到 


且 信 息 丰 


且 可 以 通 


多 时 ， 通 常 加 入 稀 玻 怕 
富 的 结构 。 每 次 迭代 之 前 


bP 网 络 参数 g ={W,b}， 
的 权 值 矩 
次 通过 映射 构造 出 向 
， 其 中 网 络 参数 为 g ={W ,pb}， 
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1 所 (2) i 
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E 限 制 ， 这 样 


过 限定 使 得 
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其 中 : m 为 样本 数量 ，i 为 样本 编号 ie (1,2,3,…,m)，j 为 中 间 


层 神 经 元 编号 ，a,(X ) 为 第 


在 稀 玻 性 限制 的 条 件 下 ， 可 


j 个 神经 元 对 第 i 个 样本 的 激活 值 。 
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D =p 
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其 中 : jp 是 稀 朴 性 参数 ， 通 常情 况 下 ， 设 定 稀 玻 性 限 1 


一 个 接近 于 0 的 数 ， 加 入 限 
近 稀 玻 性 参数 ， 常 用 的 限制 


为 KL 相对 焙 ， 即 


制 项 让 隐 含 层 节 点 的 平均 激活 值 接 


s 5 外 二 
1 = PKL(PN Pi)= Pplog f+(1-p)log—A (5) 


具体 来 说 ,JSAE 主要 包 


差 值 。 稀 玻 约 束 项 是 加 强 所 
中 的 隐藏 结构 。 雅 克 比 正则 


含 三 项 : 


[wll 


项 是 


E 构 误差 项 ; 稀 疏 约束 项 ; 
雅克 比 正则 项 。 重 构 误 差 项 是 训练 样本 与 它 所 重 构 出 的 数据 的 
学 特征 的 稀疏 性 ， 有 效 地 提取 数据 
者 述 数据 点 的 边缘 特征 ， 保 留 


手写 数字 最 重要 的 特征 。 雅 克 比 稀疏 自动 编码 机 的 代价 函数 为 
Ti = J + AT + BT,,, 


JSAE 


其 中 : 4，B 和 vw 是 | 


.+vJ 


jacobi 


来 控制 公式 中 各 项 的 相对 重要 性 所 


第 一 项 = 二 -人 (1 h(x")-y" 让 ) 是 训练 样本 的 重 构 误差 


AE 


项 , 第 二 项 /= 了 光 沁 和 (WI 是 为 了 防止 权重 过 度 拟 合 的 权 


重 衰 减 项 第 全 项 
AS ‘)_ p 1l-p 日 六 和 下 
=2,KL(p]| p; ) 2 +(1 Pg , 是 稀 玻 惩 


罚 项 ， 在 隐藏 神经 元 数量 较 多 的 情况 下 仍然 可 以 发 现 输入 数据 
中 重要 的 结构 。 用 KL(p||p') 表示 隐 层 神经 元 j 的 惩罚 因子 ， 


， 1 一 
即 KL(pllp)=plog E+(l Pp)log 其 中 ;， 
p -p 


j i 


六 = 六 [a* (x 有] 表示 隐 含 层 神经 元 j 的 平均 激活 度 ,p 为 稀 
m i 

玻 性 参数 ， 通 常 p 是 一 个 接近 于 0 的 较 小 的 值 ， 当 p+ =p 时 ， 

KL(pl|p')=0 ， 且 随 着 jp 与 p 之 间 的 差异 增 大 而 单调 递增 。 

设 定 p=0.1，KL(p||p') 随 着 pr; 交 化 的 曲线 图 如 图 4 所 示 。 最 


述 手 写字 体 识 别 数据 点 的 


后 一 项 -> OE 
Im il 


) 为 


边缘 特征 的 雅克 比 正则 项 ， 其 中 Jo 是 用 训练 样本 用 
数 计算 出 来 的 雅克 比 和 矩阵 。 


Jacobi 了 辑 


隐 含 层 神经 元 惩罚 因子 


03 04 05 0.6 07 
隐 含 层 神经 元 平均 激活 度 


图 4 惩罚 因子 曲线 图 


本 文中 ， 用 梯度 下 降 法 最 小 化 代价 函数 P0， 通 过 以 下 公式 
迭代 更 新 WwW 和 b: 


Www = _-w Q7(W， b) (7) 
六 六 OW® 
bb = b" _y (WW, b) (8) 
ap" 
其 中 : ec 是 学 习 速 率 ， 其 中 关键 步骤 是 计算 偏 导 数 ， 用 反 向 传 
播 算法 来 计算 偏 导 数 。 通 过 单个 样 例 (x,y) 的 代价 函数 


JW. 包 x 用 推 导出 整个 代价 函数 J(Ww,b) 的 偏 导数 : 
oJ(W,b) 1 < 
-| 六 


0 J(W.,b; wp) ra (9) 


oW™ mm oW™ 
OW,b) 1 6 ee 
= J WwW, b: Xi (nD) 10 
5 map y") (10) 
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可 以 得 到 JSAE 的 偏 导数 如 下 : 


3.2 实验 


a 
王 慧 玲 ， 等 ;基于 雅克 比 稀 跪 自动 纺 


结果 分 析 


3.2.1 MNIST 手写 数字 


naXiv 合 作 基 
编码 机 的 于 3 写 数 字 识 另 


Oy Os a Ed jacobi (11) 
owW owW aW "aw MNIST 具有 60000 张 手 写 数字 图 像 的 训练 库 和 10000 张 
61 _O oJ 2 07,, (12) 手写 数字 图 像 的 测试 库 。 图 像 一 共 分 为 10 类 ， 是 0 到 9 的 阿 
ISAE AE wd 乎 sparse +vV jacobi 
ob 6b ob ob ob 拉 伯 手写 数字 。 每 张 图 片 均 是 28*28 个 像素 点 ， 每 个 像素 点 取 
整个 算法 主要 过 程 描述 如 下 : 0 到 255 之 间 的 灰 度 值 ，0 是 黑色 ，255 是 白色 ， 其 中 白色 作为 
和 7 背景 。 图 $ 随机 显示 的 72 张 MNIST 手写 数字 识别 图 像 库 中 娄 
输入 : N 个 输入 样本 x =[x rsx jeR 背景 随机 显示 的 72 张 号 数字 识别 图 像 库 中 的 
图 片 。 
计算 出 训练 样 4 重 构 误差 项 
al) 计 算出 训练 样本 的 构 误差 项 JJ， 日 日 日 日 日 日 日 日 器 
= pp (x*)-y"|): a 
b) 计 算出 防止 过 拟 合 的 权重 衰减 项 J， ， | 是 四， 有 .9 
Lo a a a 
2 l= i j=l 
9 计算 出 使 隐 含 层 节 点 具有 稀 玻 性 质 的 稀疏 惩罚 项 J，。 ， a 
回 
1 
.= Pplogh Ue P)log— 人 图 5 MNIST 手写 数字 图 像 库 原 库 
中 计算 出 具有 保留 边缘 特征 的 雅克 比 正则 项 J ， 为 了 验证 本 文 提 出 的 方法 的 有 效 性 ， 在 手写 字体 识别 数据 
(lw - oF ) 库 上 做 实验 , 其 中 分 别 选 取 了 1500 张 , 2000 张 , 2500 张 , 3000 
bi Xx 
ww 2211 张 ，3500 张 和 4000 张 训练 图 片 ， 原 始 的 测试 数据 集 10000 张 
e 得 出 雅克 比 稀 玻 自动 编码 机 的 代价 函数 : 图 片 。 本 文 使 用 了 softmax 分 类 器 对 所 学 到 的 编码 进行 分 类 。 
pe 于 i +A7, + BJ, + Vo ; 本 文 还 将 所 提出 的 JSAE 算法 与 定 础 的 动 编码 机 和 稀 下 自 动 
随机 初始 化 权 值 yy 和 偏 置 p ， 前 向 传播 计算 出 隐 含 层 节 编码 机 做 了 对 比 实验 。 
点 的 值 ; 
多 使 用 梯度 下 降 法 最 小 化 代价 函数 , 得 到 最 优 的 权 值 w 和 ps Pe 
—e— SAE i 
偏 置 b ; 2 一 一 JSAE Re 
93.5 
输出 : 编码 参数 0={W,b} 和 解码 参数 g ={W ,b}。 、 930]] / a 
本 文 简单 分 析 了 雅克 比 优化 算法 的 时 间 复杂 度 ， 计 算出 | A 
J ,和 偏 导 67,, 的 时 间 复 杂 度 是 O(snm) ， 计 算出 7 ,和 偏 导 涩 915j。 一 一 ， 
8 ,的 时 间 复 杂 度 是 O(sn) ， 计 算出 J 和 偏 导 67 的 时 间 -一 
wd p p 
复杂 度 是 OCsnm) ， 计 算出 /和 偏 导 67, 的 时 间 复杂 度 是 eee 
9.5 一 T T T T T 
OCsmm)。 因 此 , 本文 所 提出 的 JSAE 算法 对 于 每 次 迭代 总 的 时 3 
训练 集 个 数 /个 
间 复 杂 度 是 OCgn2m)。 
加 6 在 MNIST 数据 集 上 的 三 种 自动 编码 机 的 分 类 准确 率 


3 


3.1 


实验 结果 与 分 析 图 6 显示 了 三 种 自动 编码 机 在 手写 字体 识别 数据 库 上 的 分 
实验 是 在 MATLAB R2014b 上 进行 ,计算机 系统 配置 如 ”类 准确 率 。 由 于 MNIST 数据 库 较 大 ， 本 文 的 实验 都 是 做 10 次 
下 :CPU 为 Intel ( Corel i3-3240; 主 频 为 3.40 GHz; 内 存 为 4 ”实验 取 其 平均 值 ， 从 中 随机 抽取 训练 样本 ， 测 试 样本 数 保持 不 
GB; 操作 系统 为 Microsoft Windows7。 本 文 实 验 使 用 的 数据 库 ” 变 ， 所 以 导致 小 数据 库 的 分 类 准确 率 小 于 原 库 的 分 类 准确 率 。 
为 MNIST 手写 数字 识别 数据 集 ，Pen-Based Recognition of ”可 以 看 出 ， 在 6 种 数据 集中 ， 本 文 提 出 的 雅克 比 稀 疏 自动 编码 
Handwritten Digits 和 USPS 数据 集 。 机 在 MNIST 的 小 数据 库 的 分 类 准确 率 均 要 优 于 自动 编码 机 与 
实验 数据 集 稀 玻 自动 编码 机 ，JSAE 通过 描述 数据 点 的 边缘 特征 并 有 效 地 
数据 集 名 称 样本 数 属性 数 分 类 数 提取 数据 中 的 隐藏 结构 ， 因 此 性 能 优势 更 加 明显 。 而 且 随 着 训 

MNIST 手写 数字 a 练 数据 集 的 增加 准确 率 也 随 之 增加 。 
Pen-Based Recognition of Handwritten Digits 10992 16 10 在 训练 样本 个 数 为 2000 的 情况 下 ， 还 对 JSAE 的 参数 1 ， 
J Bak deb jd Bp 和 y 进行 讨论 ， 将 这 些 参 数 以 
{1x10' |e=-6,-5,-4,-3,-2, 一 1,0,1,2} 的 规则 变化 ， 本 文通 过 大 
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项 是 对 数据 点 边缘 特征 的 描述 ， 是 对 第 


量 的 实验 表明 y 的 变化 不 影响 分 类 的 准确 率 ， 攻 


为 雅 


克 比 正则 


合 入 数据 作 线 性 


化 处 理 


使 得 每 一 个 学 习 到 的 特征 具有 局 部 不 变性 ， 所 以 改 


再 将 其 求 和 
变 y 的 值 是 不 会 对 结果 有 

能 够 完全 反映 代价 函数 中 参数 对 实验 结 
B 的 不 同 取 值 对 

是 参数 的 变化 范围 ，z 和 

通过 该 三 维 的 图 像 可 以 看 出 


以 上 。 在 原 库 的 1 


本 文 还 


JSAE 的 分 类 准确 率 的 影响 ，4 和 
显示 的 是 手写 字体 识别 分 类 的 准确 率 。 
JSAE 分 类 结果 稳定 ， 基 本 在 90% 
青 况 下， 分 类 的 准确 率 要 更 高 。 


二 果 的 影响 。 图 


入 


7 不 同 1 和 下 的 JSAB 分 类 准确 率 


不 讨论 了 JSAE 算法 的 训练 迭代 次 数 对 分 类 准 


影响 。 因 而 只 需 对 4 和 p 进行 讨论 ， 


7 是 7 和 
轴 显 示 的 


确 性 的 


影响 ， 分 别 在 迭代 次 数 250,350,450,550,650,750 进行 实验 ， 将 


其 与 AE 和 SAE 对 比 , 图 
类 准 
率 大 部 分 是 高 于 AE 和 
最 好 ， 
在 迭代 次 数 多 时 JSAE 更 能 体现 准 


92.0] 


91.5 1 


8 为 迭代 次 数 的 不 同 对 三 种 算法 的 分 
确 率 的 影响 。 可 以 看 出 相同 迭代 次 数 下 JSAE 的 分 类 准确 
SAE， 在 迭代 次 数 为 450 时 ， 
而 AE 和 SAE 在 迭代 次 数 为 150 时 结果 达到 最 好 ， 说 明 
确 率 的 优势 。 


结果 达到 


400 500 
迁 代 次 数 /次 


T 
300 


8 ”在 MNIST 数据 集 上 的 


T T T 
600 700 800 


三 种 


自动 编码 机 


不 同 迭 代 次 数 的 分 类 闪 


E 确 率 


1 
900 


王 慧 


据 集 , 5496 个 作为 测试 数据 集 。 医 
of Handwritten Digits 数据 集 上 的 三 种 


玲 ， 


等 : 基于 雅克 比 稀 足 


区 


的 分 类 准确 率 比 较 ， 可 以 看 出 JSAE 的 准确 率 明显 
个 自动 编码 机 ， 基 本 保持 在 96% 以 上 ， 当 和 迭代 次 数 为 350 时 
JSAE 准确 率 达 到 97.53%。 
98] AE 
97. eSAE ee 
8 SE 二 
95] 
总 94] -一 
人 93] A 
Ro 
90] 
89] 
88 + | . 
0 100 200 300 400 500 
迭代 次 数 次 
图 9 在 Pen-Based Recognition of Handwritten Digits 
数据 集 上 的 三 种 自动 编码 机 不 同 迭 代 次 数 的 分 类 准确 率 


3.2.3 USPS 数据 集 


USPS 数据 集 是 采用 USPS 美国 邮政 服务 手写 数字 识别 库 ， 
库 中 均 为 16*16 像素 的 灰 度 图 
http://www.datatang.com/data/11927)， 灰 度 值 已 被 归 一 化 。 库 中 


像 的 值 ，( 数 据 集 


ChinaXiv 合 作 革 
自动 编码 机 的 手 at 数字 识 月 


9 为 在 Pen-Based Recognition 
动 编码 机 不 同 迭 代 次 数 
高 于 另外 两 


出 自 


3.2.2 Pen-Based Recognition of Handwritten Digits 数据 集 
Pen-BasedRecognition of Handwritten Digits 数据 集 有 10992 


个 样 


性 ， 


本 ， 其 中 7494 个 是 训练 样本 ，3498 个 是 


每 次 实 


集 出 自 http://archive.ics.uci.edu/ml/), 为 了 避免 实 
验 从 10992 个 样本 中 随机 抽取 5496 个 作为 训练 数 


测试 样本 数据 
仿 结 果 的 侦 然 


有 9298 个 手写 数字 图 像 ， 其 中 7291 个 数据 用 于 训练 ，2007 
个 数据 用 于 测试 。 图 10 为 在 USPS 数据 集 上 的 三 种 自动 编码 机 
不 同和 迭代 次 数 的 分 类 准确 率 比 较 ， 可 以 看 出 JSAE 的 分 类 准确 
率 相 对 比较 稳定 , 维持 在 96% 左 右 ， 分 类 准确 率 均 高 于 SAE 和 
SAE， 具 有 一 定 的 意义 。 

97 
| i se i 
95] 
8 94 ee 
让 sj] en “gg 
炎 92] 下 
R 
| > 
—— AE 
90 -| —e— SAE 
] 一 JSAE 
89 十 T T T T T 
0 100 200 300 400 500 
迭代 次 数 /次 

图 10 在 USPS 数据 集 三 种 自动 编码 机 不 同 迭 代 次 数 的 分 类 准确 率 

4 结束语 

学 习 手写 数字 识别 的 有 效 特征 是 分 类 达到 好 的 效果 的 重要 
因 系 ， 本 文 对 自动 编码 机 进行 改进 ， 提 出 了 一 种 雅克 比 稀 
琉 自 动 编码 机 (JSAE)， 通 过 雅克 比 正则 化 描述 数据 点 的 边缘 特 
征 ， 线 性 化 输入 数据 ， 将 手写 数字 图 像 最 有 意义 的 特征 部 分 提 


取出 来 ， 


利 ) 


j 稀 琉 约 束 有 效 地 提取 数据 中 的 隐藏 结构 ， 将 隐 
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国 
图 
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层 进行 约束 ， 可 以 学 习 到 一 种 更 复杂 的 非 线 性 函数 ， 使 其 具有 


良好 的 学 习 数 据 集 特征 的 能 力 ， 从 而 更 准确 地 抽取 样本 的 本 质 
特征 。 在 MNIST 手写 数字 识别 数据 集 , Pen-based recognition of 
handwritten digits 和 Usps 数据 集 上 做 实验 , 通过 与 自动 编码 机 ， 
稀 玻 自动 编码 机 进行 比较 ， 实 验 结果 表明 JSAE 在 分 类 准确 率 
上 要 优 于 这 些 算 法 ， 验 证 了 理论 的 正确 性 。 分 析 了 JSAE 的 训 
练 数据 集 个 数 对 分 类 准确 率 的 影响 ， 训 练 数据 集 越 多 分 类 的 结 
果 越 准确 ， 还 描述 出 代价 函数 的 参数 对 准确 率 的 影响 ， 找 到 分 
类 准确 率 达 到 最 高 时 的 参数 ， 具 有 一 定 的 实践 指导 意义 。 本 文 
还 讨论 了 JSAE 的 训练 欠 代 次 数 ， 证 明了 和 迭代 次 数 对 分 类 准确 
率 有 一 定 的 影响 。 
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